Highmore sinh tại Camden, London, trong một gia đình có nhiều người tham gia ngành điện ảnh. Mẹ của anh là Sue Latimer, một người tuyển lựa tài năng trẻ, người cha là Edward Highmore, là một diễn viên.[2] Anh đi học tại The Brookland Junior and Infant School tại Hampstead Garden Suburb đến năm 11 tuổi. Highmore có một người em trai tên là Albert ("Bertie"), sinh năm 1995. Highmore sống tại Highgate, ngoại ô bắc London. từ 2003 tới 2010 anh đi học tại Highgate School và học tiếng Tây Ban Nha và Ả Rập tại Emmanuel College, [[Cambridge University, tháng 10 năm 2010.